Education in the Knowledge Society 23 (2022)
e-Learning quality assessment in Higher Education: A systematic literature review
Evaluación de la calidad en e-Learning en Educación Superior: Una revisión sistemática de la literatura
Alberto Ortiz-Lópeza*, Susana Olmos-Migueláñezb, José Carlos Sánchez-Prietoc
a Instituto Universitario de Ciencias de la Educación (IUCE), Universidad de Salamanca, España.
https://orcid.org/0000-0003-3164-5680 aortiz@usal.es
b Instituto Universitario de Ciencias de la Educación (IUCE), Universidad de Salamanca, España.
http://orcid.org/0000-0002-0816-4179 solmos@usal.es
c Instituto Universitario de Ciencias de la Educación (IUCE), Universidad de Salamanca, España.
https://orcid.org/0000-0002-8917-9814 josecarlos.sp@usal.es
(*) Autor de Correspondencia / Corresponding author
ABSTRACT
Quality is nowadays a critical factor in Higher Education institutions, where evaluation processes and quality standards are reaffirmed as a guarantee of success and effectiveness of their online teaching. The proposed systematic review attempts to answer four questions that address the studied dimensions of quality, the processes followed for its evaluation, the contributions made, and the future lines of research. To this end, 715 publications were initially analyzed, which, after applying six inclusion criteria, resulted in a total of 25 contributions made in the last seven years to offer an in-depth view of quality assessment in e-Learning. The results reflect the breadth of the field in terms of its dimensions and the continuous generation of evaluative models. This field has not yet managed to unify the criteria and dimensions to generate a standard model to establish quality as a stable and validated factor in Higher Education institutions.
Keywords
quality assurance, quality of education, e-Learning, higher education, systematic literature review.
RESUMEN
La calidad es hoy un factor clave en las instituciones de Educación Superior, dónde los procesos de evaluación y los estándares de calidad se reafirman como garantía de éxito y eficacia de sus enseñanzas en línea. La revisión sistemática que se propone trata de dar respuesta a cuatro preguntas que abordan las dimensiones estudiadas de la calidad, los procesos seguidos para su evaluación, las aportaciones realizadas y las líneas futuras de investigación. Para ello, se analizaron inicialmente 715 publicaciones que, tras la aplicación de seis criterios de inclusión, derivaron en un total 25 aportaciones realizadas en los últimos siete años con el objetivo de ofrecer una visión profunda de la evaluación de la calidad en e-Learning. Los resultados reflejan la amplitud del campo en cuanto a sus dimensiones y la continua generación de modelos evaluativos, un campo que no consigue unificar aún criterios y dimensiones de cara a la generación de un modelo común para asentar la calidad como un factor estable, continuo y validado en las instituciones de Educación Superior.
Palabras clave:
evaluación de la calidad, calidad de la educación, educación en línea, enseñanza superior, revisión sistemática de la literatura.
1. Introducción
La Educación Superior es, en el momento actual, un ámbito en constante transformación inmerso en un proceso continuo hacia la digitalización, la implantación en red de la enseñanza tradicional y la implementación de las Tecnologías de la Información y la Comunicación (TICs) en todos sus procesos, tanto de gestión como de enseñanza (Guerrero, 2018). Este proceso implica un cambio metodológico, conceptual y procedimental en las metodologías y en los procesos de enseñanza-aprendizaje e implica también situar el e-Learning como foco central en las instituciones de Educación Superior (Parlakkiliç, 2017).
En este nuevo contexto universitario, apostar por generar marcos de calidad ha de ser un objetivo claro en toda institución educativa. El aumento en el interés y el estudio de las variables relacionadas con el e-Learning no sólo se refleja en el creciente número de agencias de evaluación de la calidad (Olmos-Migueláñez, 2008), sino también en los modelos para su evaluación y evolución, o en el ámbito más normativo en nuevas políticas como la Resolución de 6 de abril de 2021, de la Secretaría General de Universidades, por la que se aprueban recomendaciones en relación con los criterios y estándares de evaluación para la verificación, modificación, seguimiento y renovación de la acreditación de títulos universitarios oficiales de Grado y de Máster ofertados en modalidades de enseñanzas virtuales e híbridas; una resolución que establece los criterios y estándares de calidad para la continuidad y renovación de la docencia en la modalidad e-Learning e híbrida, y que sienta las bases de la nueva dirección que están tomando las instituciones de Enseñanza Superior que apuestan por el e-Learning en nuestro país (BOE, 2021).
Realizando una breve aproximación a los mencionados modelos, son algunos como el Quality Matters o el e-Learning Quality (ELQ), los que centran hoy este campo de la evaluación. El primero de ellos, el Quality Matters, es un modelo centrado en la evaluación de la calidad en Educación Superior que cuenta con ocho estándares generales que evalúan la descripción del curso (1), los objetivos (2), la evaluación (3), los materiales (4), la interacción (5), la tecnología empleada (6), el apoyo al estudiante (7) y la accesibilidad (8); y es hoy uno de los modelos más conocidos y empleados en las enseñanzas en línea (Brown et al., 2018).
Un segundo modelo representativo y asentado en el ámbito de la evaluación de la calidad en e-Learning es el modelo ELQ, desarrollado por la Agencia Nacional Sueca que comprende la evaluación de los materiales (1), la estructura (2), la comunicación y cooperación (3), la evaluación (4), la flexibilidad y adaptabilidad (5), el apoyo (6), la cualificación y experiencia docente (7), la visión y liderazgo (8), los recursos (9) y los procesos integrales (10) (Hansson et al., 2009; Mixnahuatl et al., 2013).
En los últimos años, los modelos privados de acreditación y certificación de calidad en e-Learning se han especializado y diseminado en modelos como el ODLQC Standards (evaluación de la calidad en aprendizajes abiertos o a distancia, incluyendo el e-Learning) o el BAOL Quality Mark (con el objetivo de promover la calidad en prácticas de aprendizaje flexible a distancia) (Fernández, 2005).
Por otro lado, la evaluación de la calidad en e-Learning toma también recientemente como referencia modelos provenientes del ámbito empresarial y de la evaluación de la calidad de los servicios ofrecidos, adaptándose a la calidad de los entornos virtuales y entendiendo a los usuarios de estos como clientes y destinatarios de un servicio que ha de ser evaluado y mejorado en la práctica, como los modelos Servqual y Servperf (Jain y Gupta, 2004).
En la actualidad, la coexistencia multitud de modelos para evaluar la calidad del e-Learning y aspectos concretos de sus procesos es una realidad, lo que pone de manifiesto la importancia y relevancia que tienen los avances en el campo de la educación virtual en los últimos años (Marciniak y Gairín-Sallán, 2017). Pese a esta multitud, la calidad no alcanza aún un modelo que logre cubrir las necesidades de un ámbito tan complejo, y refleja la necesidad de la creación de estándares y modelos de evaluación de calidad en la formación on-line.
Por ello, el elevado número de agencias de evaluación de la calidad y el creciente número de estudios que también relacionan la evaluación de la calidad y la mejora de la enseñanza no hacen más que subrayar la importancia de esta investigación en su afán por conocer el estado del arte sobre este tema. Además, la situación epidemiológica generada por la COVID-19 y la transición a la no presencialidad que ha supuesto en la totalidad de las enseñanzas y sistemas educativos (García-Peñalvo et al., 2020; Gómez-Gómez et al., 2022) ha posicionado al e-Learning como epicentro de los cambios y de la continuidad de estos procesos educativos (Gazca-Herrera, 2020). Dentro de esta adaptación, la calidad se ha posicionado como un factor relevante y una garantía de la nueva modalidad de enseñanza adoptada por la mayoría de las instituciones educativas, entre ellas las de Educación Superior.
Dada la importancia que el e-Learning y su calidad toman en el momento actual, en este estudio se presenta una revisión sistemática de la literatura (SLR) de las aportaciones sobre evaluación de la calidad en e-Learning en Educación Superior publicadas en los últimos siete años (2015-2021), pretendiendo llenar un vacío en la investigación proporcionando una perspectiva global de este campo. En la presente investigación se profundizará en las dimensiones de la calidad, los procedimientos de evaluación y las aportaciones y nuevas vías de investigación que se sugieren para el campo.
A continuación, se presenta la metodología seguida en la revisión realizada, incluyendo las preguntas de investigación, los criterios de inclusión y exclusión, y la descripción completa del proceso de búsqueda y selección. Posteriormente, se presentan los resultados que responden a cada una de las preguntas de investigación y la discusión de los resultados a partir del proceso completo de revisión y las aportaciones de los autores. Esta revisión es ampliación y continuidad de un estudio de mapping realizado sobre el estado de la cuestión (Ortiz-López et al., 2021), del que solo se ha tomado como referencia el proceso de búsqueda documental.
2. Método
La revisión literaria debe resumir el estado de la cuestión de las investigaciones pertinentes que contextualizan el trabajo en el panorama internacional, y explicar qué conclusiones de otros autores, si los hubiere, están siendo cuestionadas o extendidas. Debe incluir la explicación general del estudio, su objetivo central y el diseño metodológico seguido. En la presente investigación se ha seguido la declaración PRISMA para revisiones sistemáticas de literatura (Liberati et al., 2009), la cual plantea los ítems y las directrices necesarias sobre aspectos clave a seguir en este tipo de investigaciones (desde la construcción del título, resumen, justificación y objetivos; pasando por el detalle del protocolo metodológico seguido o la selección de estudios para los resultados y la elaboración de discusiones) (González et al., 2011).
2.1. Preguntas de Investigación
Las preguntas planteadas para la revisión sistemática de la evaluación de la calidad en el e-Learning en la Educación Superior son las siguientes:
2.2. Criterios de inclusión / exclusión
Se plantean a continuación los criterios de inclusión/exclusión que determinarán las publicaciones que compondrán el análisis y la respuesta a las preguntas de investigación planteadas:
Para la puntualización de los criterios, se aceptará todo aquel artículo que se refiera al e-Learning como “una capacitación no presencial que, a través de plataformas tecnológicas, posibilita y flexibiliza el acceso y el tiempo en el proceso de enseñanza-aprendizaje” (García-Peñalvo, 2005, p. 2). Por tanto, será válido todo aquel artículo que refiera al e-Learning como enseñanza no presencial, flexible y que emplee herramientas de comunicación tanto síncrona como asíncrona. Los MOOC y la educación abierta no están incluidos, ya que no se puede garantizar que tengan como destinatarios exclusivamente población de Educación Superior.
Asimismo, se considerarán válidos solamente aquellos artículos que conciban la calidad como el grado en que un curso, programa o enseñanza cumple unos requisitos establecidos y que implique una correcta y profunda planificación, evaluación y mejora en los procesos de docencia e investigación y en las áreas de gestión y administración (Fernández et al., 1999). Adicionalmente, la calidad deberá garantizar también la optimización y maximización del proceso de enseñanza-aprendizaje en cuanto a los conocimientos y habilidades adquiridas por los usuarios/destinatarios del e-Learning y la forma en la que estos se trasmiten.
2.3. Cadena de búsqueda y base de datos
Inicialmente, la búsqueda se llevó a cabo el 26/11/2019 en las bases de datos Web of Science y Scopus, dos de las que presentan mayor relevancia en el ámbito de la investigación científica (Pérez-Escoda, 2017), limitándose los resultados a los últimos cinco años, de manera que el estudio ofreciera información centrada en la situación actual del campo. La cadena de búsqueda empleada fue: ('Evaluación Calidad' OR 'Quality Assessment' OR 'Quality Evaluation') AND ('eLearning' OR 'e-Learning') AND ('Educación Superior' OR 'Universidad' OR 'Higher Education' OR 'University').
Posteriormente, para mantener el estudio actualizado se repitió la búsqueda utilizando la misma cadena en los mismos repositorios el 28/05/2021, empleando la herramienta de filtro de los repositorios para limitar los resultados al periodo de tiempo transcurrido desde la búsqueda original. Adicionalmente también se utilizaron las herramientas de filtro para limitar los resultados en función del tipo de publicación de manera que solamente se incluyeran los artículos publicados en revistas científicas. La base de datos con los artículos, el proceso completo y las revisiones realizadas se encuentra disponible para su acceso libre en el enlace: https://bit.ly/3kFz7lM.
2.4. Proceso de selección de publicaciones
La búsqueda inicial completa arrojó un total de 753 artículos que conformaron la primera fase de la Investigación. Tras la eliminación de duplicados, la cifra descendió a 715. En la segunda fase de la investigación se aplicaron los criterios de exclusión ya referidos en este trabajo. El resultado tras la primera aplicación de criterios fue de 52 artículos aceptados y 27 propuestos para revisión posterior (79 artículos). A continuación, los artículos marcados para revisión y los ya aceptados fueron también solicitados para ser revisados y discutidos con un profesor e investigador experto en la materia y en el desarrollo de estudios de tipo mapping/SLR.
Además, con el claro objetivo de garantizar la validez, la objetividad y mejorar la fiabilidad de la investigación, los autores de la investigación solicitaron a dos jueces expertos en evaluación y en calidad en Educación Superior la revisión de cincuenta artículos aleatorios para comprobar la validez de la aplicación de los criterios hasta la fecha. Los jueces determinaron que el 100% de los artículos excluidos/incluidos revisados estaban correctamente dictaminados, lo que permite que esta investigación continúe con un mayor grado de validez.
En relación con el número de publicaciones que promocionaron en cada fase, el número final de aceptadas fue de 25 (con una tasa de aceptación del 3,49%), y un total de 690 artículos fueron rechazados. Las cifras restantes se presentan a continuación (Figura 1).
Figura 1. Diagrama de flujo PRISMA de la revisión.
3. Resultados
3.1. ¿En qué dimensión/dimensiones del e-Learning se centra la evaluación de la calidad en Educación Superior?
La primera pregunta hace referencia directa a conocer en qué dimensión o dimensiones del e-Learning se centra la evaluación de la calidad para los investigadores. A la hora de abordar esta temática, existe una gran heterogeneidad de dimensiones, entre las que se incluyen (Marciniak y Gairín-Sallán, 2018):
- Calidad del contexto.
- Calidad de la formación.
- Características del estudiante.
- Características de la función docente.
- Calidad los apoyos y las entradas.
- Calidad de la infraestructura tecnológica.
- Calidad del diseño y desarrollo del curso.
- Accesibilidad y gestión del entorno.
- Organización y ética.
- Feedback.
- Calidad de la información del programa.
- Pedagogía y estrategias de enseñanza.
- Calidad de los objetivos, los materiales, recursos y las actividades.
- Calidad de la evaluación.
Dada esta situación, y de cara a realizar la presente revisión, se optó por no establecer un sistema de dimensiones previo, sino que estas fueron extraídas a partir de los artículos incluidos, de manera que el proceso permitiera conocer qué dimensiones presentan una mayor relevancia y cuales son aquellas que están aún por evaluar en función de los criterios de los autores de las publicaciones. En primer lugar, los resultados observados demuestran que son muy relativas las dimensiones que cada investigación plantea (Tabla 1). La tabla extendida con las dimensiones planteadas por cada autor se encuentra disponible en el archivo complementario a esta revisión.
Tabla 1. Dimensiones de la evaluación de la calidad en e-Learning.
Fuente: elaboración propia.
La mayoría de las investigaciones han tratado de conocer las dimensiones relevantes para la evaluación. La profundización y categorización de estas es muy variada, ya que estudios como el de Marciniak (2018) plantea 14 dimensiones, otros como el de Ling y Pei (2020) plantean seis y algunos como el de Prieto-Rodríguez et al. (2016); solamente tres. Por tanto, dicha variabilidad en el número y en su delimitación refleja estar ante un campo muy difícilmente abarcable y heterogéneo, compuesto por un gran número de dimensiones e indicadores que influyen y condicionan la evaluación de la calidad en este ámbito.
Pese a la heterogeneidad encontrada, sí se detecta la presencia de un número de dimensiones que se repite con mayor frecuencia en los estudios, mientras que otras se encuentran aún menos abordadas (Figura 2).
Figura 2. Agrupación de dimensiones en función del número de autores que las abordan.
Con relación a las dimensiones más estudiadas, teniendo en cuenta las planteadas por Marciniak y Gairín-Sallán (2018) en su estudio, sí se observa una cierta correlación entre las dos revisiones, alcanzando hasta nueve dimensiones presentes en ambos. Pese a ello, se detecta también una alta variabilidad en cuanto a la delimitación de las dimensiones en cada estudio y la presencia también de diferentes subdimensiones; por lo que se vuelve a poner de manifiesto la amplitud de este campo evaluativo.
3.2. ¿Qué proceso se propone para evaluar la calidad en e-Learning en Educación Superior?
El proceso mediante el que se evalúa la calidad difiere en función del estudio, de las dimensiones contempladas y de la metodología propuesta. Conocer cómo los autores llevan a cabo su evaluación es fundamental para conocer los procedimientos que están siendo seguidos en este campo. Por ello, con el fin de categorizar el proceso realizado en cada estudio, se han establecido tres criterios para determinar si las publicaciones analizadas generan un modelo propio, explícito y complejo para la evaluación de la calidad (en consecuencia, amplían el campo); si aplican un modelo ya existente y evalúan la calidad en un contexto determinado, o si por el contrario realizan una evaluación de la calidad sin la formulación explícita y compleja de un modelo. Dichos criterios son:
a. Si la publicación refiere la aplicación o validación de un modelo propio, generado por los autores y tiene dos o más dimensiones (complejo): Generación de un nuevo modelo.
b. Si la publicación refiere a un modelo ya existente y a su aplicación en un contexto determinado: Aplicación de un modelo existente.
Por tanto, siguiendo la clasificación propuesta para la categorización de los procesos evaluativos, se presenta la siguiente tipificación (Tabla 2).
Tabla 2. Proceso seguido para la evaluación de la calidad en e-Learning.
Proceso seguido |
Autores |
Generación de un modelo. |
Alam et al. (2021), Choi y Jeong (2019), Hou (2021), Kurilovas y Vinogradova (2016), Ling y Pei (2020), Marciniak (2018), Margalina et al. (2015), Ortiz-López et al. (2021), Pontoriero (2021), Waheed et al. (2016), Waheed y Kaur (2017). |
Aplicación de un modelo ya existente. |
Martínez-Argüelles y Batalla-Busquets (2016), Martínez-Caro et al. (2015), Prieto-Rodríguez et al. (2016). |
Propuesta de un marco evaluativo. |
Marciniak (2015), Pecori et al. (2019), Serrano et al. (2018). |
Evaluación de la calidad sin la formulación de un modelo explícito y complejo. |
García y González (2015), La Rotta et al. (2019), Mahdiuon et al. (2017), Park y Lim (2015), Pham et al. (2019), Radu et al. (2020), Raspopovic & Jankulovic (2017), Torres-Barbazal et al. (2018). |
Fuente: elaboración propia.
Del análisis se extrae que son varias corrientes las que los investigadores siguen en sus estudios. Por un lado, destacan aquellos autores que plantean la generación de un modelo propio para evaluar la calidad (11 de los 25). En segundo lugar, un total de ocho autores evalúan la calidad sin un modelo único y complejo (es decir, o evalúan sin modelo definido o evalúan una única dimensión). Y, en tercer lugar, son tres los autores que aplican un modelo ya existente y tres autores también los que proponen un marco de evaluación para la calidad en e-Learning en Educación Superior (proponiendo condiciones, no dimensiones ni referencias explícitas a un modelo único y complejo) (Figura 3).
Figura 3. Distribución de los procesos seguidos por los autores con relación al total.
Entre aquellas publicaciones que proponen su modelo, se comprueba la variabilidad y las diferencias entre unos modelos y otros (no abordan las mismas dimensiones y no lo hacen de la misma forma), y se detecta también que el proceso seguido para cada propuesta difiere entre las once publicaciones (unos parten del análisis teórico, otros de reformulaciones de modelos previos y otros de estudios empíricos sobre la calidad), por lo que no se detecta una única dirección en cuanto a los nuevos modelos evaluativos.
Por otro lado, las ocho publicaciones que evalúan una única dimensión de la calidad, o que lo hacen sin un modelo, plantean estudios centrados en la satisfacción del usuario (García y González, 2015; La Rotta et al., 2019; Pham et al., 2019; Raspopovic y Jankulovic, 2017; Torres-Barbazal et al.,2018), en la calidad docente (García y González, 2015), en la percepción del proceso de enseñanza e-Learning (Mahdiuon et al., 2017; Park y Lim, 2015) o en el impacto de la COVID en la calidad de la enseñanza (Radu et al, 2020).
Entre aquellos estudios que aplican un modelo ya existente, lo hacen mediante la validación del cuestionario e-Servqual para la calidad (Martínez-Argüelles y Batalla-Busquets, 2016), mediante la aplicación de Servqual, Serperf e IPA (Martínez-Caro et al., 2015) o empleando el Quality Teaching Model (Prieto-Rodríguez et al., 2016).
Finalmente, son tres autores también quienes proponen un marco evaluativo para la evaluación de la calidad en e-Learning, estableciendo una serie de condiciones y características de la evaluación a realizar. De estos, unos se centran más en un marco comparativo de protocolos en e-Learning (Marciniak, 2015), otros en marcos para el análisis de datos mediante Big Data (Pecori et al., 2019) y otros centrados en las condiciones institucionales (Serrano et al., 2018).
3.3. ¿Cuáles son las aportaciones principales que cada autor considera que plantea su investigación en materia de evaluación de la calidad en e-Learning?
Se abordan las aportaciones que los autores consideran que su investigación alcanza. Estas aportaciones centran su desarrollo, principalmente, en las aportaciones del modelo, marco o proceso evaluativo diseñado. Por ello, se presentan las principales categorías sobre lo que consideran que aporta su investigación para la evaluación de la calidad (Tabla 3). Estas categorías han sido extraídas de cada publicación, y se encuentran ampliadas en el archivo complementario a la investigación (en la hoja 3.3).
Tabla 3. Aportaciones de las investigaciones analizadas.
Fuente: elaboración propia.
Las publicaciones realizadas hasta la fecha se centran, en su mayoría, en continuar el estudio de las dimensiones, generando nuevos modelos evaluativos y ampliando el campo a estudio. Esta tendencia refleja que aún se está lejos de alcanzar un único modelo en la evaluación de la calidad, ya que la exploración en los mismos varía en función del autor, del proceso y de las dimensiones; teniendo 12 propuestas que destacan por profundizar en dimensiones particulares. Además, seis autores indican que su herramienta mejora la fiabilidad y eficacia de su evaluación frente a las evaluaciones ya existentes, e incluso cinco de ellos la plantean como una herramienta única hasta la fecha dadas sus características.
Por otro lado, tres autores destacan la posibilidad de sus modelos para comparar sistemas de enseñanza, y solamente uno de ellos plantea la necesidad de unificar dimensiones de modelos vigentes con el objetivo de tratar de establecer un marco común, consensuado y validado por la comunidad científica, dada la elevada diseminación actual de los modelos.
3.4. ¿Qué nuevas vías se abren en la evaluación de la calidad en línea para los autores?
Por último, se abordan las nuevas vías de investigación que los autores plantean tras su estudio. Estas nuevas vías han de centrar el devenir futuro de las investigaciones, y son los campos hacia los que dicha evaluación debe avanzar para consolidarse como una garantía y un campo relevante en el ámbito del e-Learning (Tabla 4). En el archivo auxiliar se encuentran las líneas de investigación completas planteadas en cada estudio (3.4).
Tabla 4. Líneas de investigación propuestas en los estudios analizados.
Línea Propuesta |
Nº |
Autores |
Identificar dimensiones estables para otros contextos y Universidades. |
7 |
Marciniak (2018), Martínez-Argüelles y Batalla-Busquets (2016), Martínez-Caro et al. (2015), Park y Lim (2015), Pham et al. (2019), Waheed y Kaur (2017), Ling y Pei (2020). |
Incluir más usuarios en la evaluación. |
6 |
Alam et al. (2021), Choi y Jeong (2019), García y González (2015), Radu et al. (2020), Waheed y Kaur (2017), Ling y Pei (2020). |
Examinar más variables y factores externos. |
6 |
Alam et al. (2021), Park y Lim (2015), Pham et al. (2019), Radu et al. (2020), Raspopovic y Jankulovic (2017), Ling y Pei (2020). |
Explicar más porcentaje de la calidad. |
4 |
Alam et al. (2021), Choi y Jeong (2019), Park y Lim (2015), Waheed et al. (2016). |
Validar el instrumento propuesto. |
4 |
La Rotta et al. (2019), Ortiz-López et al. (2021), Radu et al. (2020), Waheed et al. (2016). |
Ampliar contexto geográfico. |
2 |
|
Ampliar variables relacionadas estudiante. |
2 |
|
Extender el instrumento propuesto / diseñado. |
2 |
|
Avanzar en la investigación de las características del sistema educativo. |
1 |
|
Analizar impacto organizativo. |
1 |
|
Aplicar a otras modalidades de enseñanza (b-Learning, u-Learning, m-Learning). |
1 |
Fuente: elaboración propia.
Parece claro que las principales corrientes abogan por identificar y aunar dimensiones, tratando así de extrapolar y validar el modelo que cada autor genera en otros marcos universitarios, estableciendo un marco amplio y consensuado. Además, se apuesta por la necesidad de incluir un mayor número de usuarios en los procesos evaluativos y por examinar los factores externos que influyen y condicionan la calidad del e-Learning, pudiendo establecer así un listado completo de factores condicionantes que forman parte también de esta evaluación.
Destacan también corrientes que defienden la necesidad de analizar no solo la calidad, si no la vinculación de esta con el impacto que una mejora en ella supone para la institución de Educación Superior y; por último, corrientes que plantean la idea de aplicar los modelos de evaluación de la calidad de e-Learning a otras modalidades, como pueden ser el b-Learning, el u-Learning o el m-Learning, atendiendo a cada una de sus peculiaridades.
4. Conclusiones
La revisión realizada muestra el interés existente en la comunidad investigadora por la evaluación de la calidad en e-Learning en Educación Superior, la cual centra sus esfuerzos y avances en la profundización sobre las dimensiones que componen y determinan la calidad, sin denotarse aún la generación de un modelo único para dicho proceso, lo que condiciona la evaluación para las instituciones de Educación Superior.
4.1. Conclusiones sobre las dimensiones de la calidad
La revisión ha identificado un total de doce dimensiones diferenciadas que afectan a la calidad y que se proponen en los estudios analizados. De ellas, destaca la variabilidad en cuanto a la presencia en unos u otros estudios, dónde se priorizan, alternan y eliminan en función de los intereses y hallazgos particulares. De ellas, predominan en la revisión la calidad del sistema, la función docente, la calidad de acceso para el usuario y la calidad de los contenidos (Figura 2). Aún así, no se detecta una relación directa que justifique si una mayor presencia conlleva una mayor explicación de la calidad; y más dada la variabilidad en cuanto a sus múltiples delimitaciones, pesos e indicadores en función de cada estudio.
En una comparativa con la revisión de Marciniak y Gairín-Sallán (2018) de modelos evaluativos en educación virtual, se constata la relación directa de nueve dimensiones en ambas revisiones, mientras que cinco de ellas no se correlacionan; lo que refleja nuevamente la amplitud y dificultad en la definición del campo (Fernández, 2005). Esta amplitud se observa también en la comparación con la revisión de Duart et al. (2017) sobre las dimensiones de la calidad en MOOCs, quien plantea que para esta modalidad son la planificación, los contenidos, la metodología, los recursos, la motivación, la comunicación y la evaluación las dimensiones más representativas; sin alcanzar un alto grado de similitud a las dimensiones aquí alcanzadas para la calidad en e-Learning.
Por tanto, la dimensionalización de la calidad en este campo ha de ser un objetivo principal para la investigación, la cual se encuentra lejos aún de la estabilidad necesaria para un modelo común.
4.2. Conclusiones sobre los procesos seguidos en los estudios
Esta revisión confirma el elevado número de propuestas particulares y diferenciadas en la apuesta por la evaluación de la calidad, con un total de once nuevos modelos entre los veinticinco estudios analizados. Además, otros tres estudios proponen un nuevo marco evaluativo, y ocho más evalúan la calidad sin generar un modelo mediante un proceso propio. Es importante resaltar que solamente un estudio trata de aglutinar las ya existentes en la generación de un modelo común y consensuado (partiendo de las dimensiones más relevantes y de aquellas más influyentes en la calidad para sus autores).
Dado el elevado volumen de modelos coexistentes (Mejía y López, 2016), consideramos necesario que investigaciones futuras aglutinen las propuestas y se centren en la generación de un modelo validado, aceptado y consensuado (Park y Lim, 2015); permitiendo así la evaluación de calidad en e-Learning en Educación Superior a gran escala y posibilitando la comparación interuniversitaria y la generación de nuevos espacios de colaboración conjunta.
Por otro lado, resaltar también que aquellos modelos de evaluación de la calidad citados en el comienzo de la publicación (ELQ, ODLQC, BAOL; entre otros), y relevantes en el desarrollo de la evaluación de la calidad, no han sido detectados en las investigaciones analizadas, por lo que se abre una nueva y posible discusión sobre la practicidad de estos modelos frente a modelos individuales y propuestas de autores; así como su aplicación en ámbitos de calidad en e-Learning en Educación Superior.
4.3. Conclusiones sobre las aportaciones de los estudios
En cuanto a las aportaciones analizadas, prácticamente la totalidad de las investigaciones valoran su estudio por profundizar en dimensiones específicas que afectan a la calidad del e-Learning, y por presentar también un modelo novedoso, fiable y eficaz para dicha evaluación. De los estudios, solamente una aportación trata la necesidad de unificar dimensiones, mientras que el resto presentan nuevos modelos y marcos, o aplicaciones de modelos ya existentes para avanzar en el campo de la evaluación.
Se concluye, por tanto, que la investigación avanza en la exploración de dimensiones como fase previa al establecimiento de un acuerdo entre las mismas para la generación de modelos más relacionados. En el análisis de estos se ha de tener en cuenta también el posible sesgo de análisis de datos (destacando el sesgo de autoconfirmación y el sesgo de publicación) los cuales pueden manifestarse en las conclusiones alcanzadas por los autores sobre sus propuestas (Palma & Delgado, 2006), dada la elevada eficacia y validez en todos los modelos analizados.
4.4. Conclusiones sobre las líneas de investigación futuras
La revisión ha tratado de plasmar la situación actual del campo, teniendo en cuenta también las líneas futuras propuestas por los estudios. De ellas, se extrae como principal objetivo la necesaria continuidad en la identificación de dimensiones estables para todos los contextos y la necesidad de ampliar la evaluación a un mayor número de usuarios y entidades.
Tras el estudio, consideramos que futuras investigaciones deben explorar aquellas dimensiones menos estudiadas, como los procedimientos de inscripción, el acceso a plataformas, las políticas institucionales y la calidad de los recursos (Figura 2). El establecimiento de un modelo evaluativo para la calidad del e-Learning en Educación Superior debe pasar por la identificación de dimensiones estables para todos los contextos (mediante validaciones interuniversitarias), analizando el máximo número de variables posibles que en dichos contextos influyan y haciendo partícipes a más usuarios de estos procesos evaluativos. Además, consideramos necesario también el trabajo coordinado interuniversitario para la validación de dichos modelos, y el metaanálisis de los modelos ya existentes para la generación de un modelo común partiendo de los mismos.
4.5. Consideraciones finales
Esta revisión ha tratado de aunar diferentes propuestas para centrar los avances que se han de seguir en materia de calidad en e-Learning, y ha denotado la falta de un modelo común en la práctica educativa de la Educación Superior, por lo que se abre una fuerte vía en la investigación para alcanzar la validación futura de un modelo único y el establecimiento de dimensiones ampliamente consensuadas para evaluar la calidad de forma válida y fiable, haciendo así que el e-Learning sea una realidad educativa con un alto nivel de calidad en la nueva realidad educativa que se abre en nuestros días.
Entre las limitaciones de esta investigación, destacan la imposibilidad de abarcar un mayor número de bases de datos dados los recursos de la investigación (García-Peñalvo, 2022) y el marco temporal comprendido, sobre el que estudios futuros pueden plantear su ampliación para analizar las tendencias y la evolución en el estudio de la calidad en e-Learning; el cual no era el objetivo de esta revisión, que ha tratado de reflejar la situación actual del campo en la Educación Superior para posicionar la calidad como un factor fundamental en las enseñanzas en red.
Referencias
Alam, M. M., Ahmad, N., Naveed, Q. N., Patel, A., Abohashrh, M. y Khaleel, M. A. (2021). E-Learning Services to Achieve Sustainable Learning and Academic Performance: An Empirical Study. Sustainability, 13(5), 2653. https://doi.org/10.3390/su13052653
BOE. (2021). Resolución de 6 de abril de 2021, de la Secretaría General de Universidades, por la que se aprueban recomendaciones en relación con los criterios y estándares de evaluación para la verificación, modificación, seguimiento y renovación de la acreditación de títulos universitarios oficiales de Grado y de Máster ofertados en modalidades de enseñanzas virtuales e híbridas. Boletín Oficial del Estado, 90, sec. III, de 15 de abril de 2021, 43455–43467.
Brown, V. S., Toussaint, M. y Lewis, D. (2018). Students’ Perceptions of Quality across Four Course Development Models. Online Learning, 22(2), 173–195. https://doi.org/10.24059/olj.v22i2.1213
Choi, C.-R. y Jeong, H.-Y. (2019). Quality evaluation for multimedia contents of e-learning systems using the ANP approach on high-speed network. Multimedia Tools and Applications, 78(4), 28853–28875. https://doi.org/10.1007/s11042-019-7351-8
Duart, J. M., Roig Vila, S., Mengual Andrés, S. y Maseda Durán, M. Á. (2017). La calidad pedagógica de los MOOC a partir de la revisión sistemática de las publicaciones JCR y Scopus (2013-2015). Revista española de pedagogía, 22. https://doi.org/10.22550/REP75-1-2017-02
Fernández, B., Alonso, E., Rebolloso, E. y Pozo, C. (1999). Evaluación de la calidad en la educación superior. Papeles del psicólogo, 74, 1886–1415.
Fernández, V. (2005). Calidad y e-learning. En F. F. Martínez (Coord). En E-aprendizaje en bibliotecología: Perspectivas globales (pp. 74–91). Universidad Nacional Autónoma de México.
García, P. A. y González, M. S. (2015). Validación de escala para evaluación de la calidad docente en entornos virtuales. Opción: Revista de Ciencias Humanas y Sociales, 31(5), 394–406.
García-Peñalvo, F. J. (2005). Estado actual de los sistemas e-learning. Education in the knowledge society, 6(2), 1. https://doi.org/10.14201/eks.18184
García-Peñalvo, F. J. (2022). Developing robust state-of-the-art reports: Systematic Literature Reviews. Education in the Knowledge Society, 23, Article e28600. https://doi.org/10.14201/eks.28600
García-Peñalvo, F. J., Corell, A., Abella-García, V. y Grande-de-Prado, M. (2020). Online Assessment in Higher Education in the Time of COVID-19. Education in the Knowledge Society, 21, Article 12. https://doi.org/10.14201/eks.23013
Gazca-Herrera, L. A. (2020). Implicaciones del coronavirus covid-19 en los procesos de enseñanza en la educación superior. RIDE. Revista Iberoamericana para la Investigación y el Desarrollo Educativo, 11(21). https://doi.org/10.23913/ride.v11i21.753
Gómez-Gómez, M., Hijón-Neira, R., Santacruz-Valencia, L. y Pérez-Marín, D. (2022). Impact of the Emergency Remote Teaching and Learning Process on Digital Competence and Mood in Teacher Training. Education in the Knowledge Society, 23, Article e27037. https://doi.org/10.14201/eks.27037
González, J., Buñuel, J. C. y Aparicio, M. (2011). Listas guía de comprobación de revisiones sistemáticas y metaanálisis: Declaración PRISMA. Evidencias en Pediatría, 7(4), 97–102.
Guerrero, C. (2018). Innovación y Transformación Digital en la Educación Superior. En C. Cáceres, N. Esteban, M. d. C. Gálvez y B. Rivas (Eds.). En Innovación y transformación digital: Estrategias y metodologías docentes en Educación Superior (pp. 19–26). Dykinson.
Hansson, H., Westman, P., Åström, E. y Johansson, M. (2009). Un modelo para la evaluación de la calidad e-Learning. Revista de Investigaciones UNAD, 8(1), 11–29. https://doi.org/10.22490/25391887.619
Hou, J. (2021). Online teaching quality evaluation model based on support vector machine and decision tree. Journal of Intelligent & Fuzzy Systems, 40, 2193–2203. https://doi.org/10.3233/JIFS-189218
Jain, S. K. y Gupta, G. (2004). Measuring Service Quality: Servqual vs. Servperf Scales. Vikalpa, 29(2). https://doi.org/10.1177/0256090920040203
Kurilovas, E. y Vinogradova, I. (2016). Improved fuzzy AHP methodology for evaluating quality of distance learning courses. The International journal of engineering education, 32(4), 1618–1624.
La Rotta, D., Usuga, O. C. y Clavijo, V. (2019). Perceived service quality factors in online higher education. Learning Environments Research, 23, 251–267. https://doi.org/10.1007/s10984-019-09299-6
Liberati, A., Altman, D., Tetzlaff, J., Mulrow, C., Gotzsche, P., Ioannidis, J. P. y Moher, D. (2009). The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate healthcare interventions: Explanation and elaboration. British Medical Journal, 339. https://doi.org/10.1136/bmj.b2700
Ling, J. H. y Pei, R. Y. (2020). Perceptions of learning management system quality, satisfaction, and usage: Differences among students of the arts. Australasian Journal of Educational Technology, 36(3), 26–40. https://doi.org/10.14742/ajet.5187
Mahdiuon, R., Masoumi, D. y Farasatkhah, M. (2017). Quality improvement in virtual higher education: A grounded theory approach. Turkish Online Journal of Distance Education, 18(1), 111–131. https://doi.org/10.17718/tojde.285720
Marciniak, R. (2015). Methodological proposal for the application of international benchmarking in order to assess the quality of virtual higher education. RUSC. Universities and Knowledge Society Journal, 12(3), 46–60. https://doi.org/10.7238/rusc.v12i3.2163
Marciniak, R. (2018). Quality Assurance for Online Higher Education Programmes: Design and Validation of an Integrative Assessment Model Applicable to Spanish Universities. The International Review of Research in Open and Distributed Learning, 19(2), 126–154. https://doi.org/10.19173/irrodl.v19i2.3443
Marciniak, R. y Gairín-Sallán, J. (2017). Un modelo para la autoevaluación de la calidad de programas de educación universitaria virtual. Revista de Educación a Distancia (RED), 54, Article 54. https://doi.org/10.5944/ried.21.1.16182
Marciniak, R. y Gairín-Sallán, J. (2018). Dimensiones de evaluación de calidad de educación virtual: Revisión de modelos referentes. RIED. Revista Iberoamericana de Educación a Distancia, 21(1), 217–238. https://doi.org/10.5944/ried.21.1.16182
Margalina, V., De Pablos-Heredero, C. y Montes, J. L. (2015). Achieving quality in e-Learning through relational coordination. Studies in Higher Education, 42(9), 1655–1670. https://doi.org/10.1080/03075079.2015.1113953
Martínez-Argüelles, M. y Batalla-Busquets, J.-M. (2016). Perceived Service Quality and Student Loyalty in an Online University. The International Review of Research in Open and Distributed Learning, 17(4), 264–276. https://doi.org/10.19173/irrodl.v17i4.2518
Martínez-Caro, E., Cegarra-Navarro, J. G. y Cepeda-Carrión, G. (2015). An application of the performance-evaluation model for e-learning quality in higher education. Total Quality Management & Business Excellence, 26(5-6), 632–647. https://doi.org/10.1080/14783363.2013.867607
Mejía, J. F. y López, D. (2016). Modelo de Calidad de E-learning para Instituciones de Educación Superior en Colombia. Formación Universitaria, 9(2), 59–72. https://doi.org/10.4067/S0718-50062016000200007
Mixnahuatl, A., Santamaría, J., Urbina, A., Calleja, J. de la y Auxilio, M. (2013). Diseño del curso análisis de sistemas aplicando el modelo de calidad para e-learning. Educación Handbook T-I: Congreso Interdisciplinario de Cuerpos Académicos (pp. 143–152).
Olmos-Migueláñez, S. (2008). Evaluación Formativa y Sumativa de estudiantes universitarios: Aplicación de las Tecnologías a la Evaluación Educativa [Tesis Doctoral]. Universidad de Salamanca.
Ortiz-López, A., Olmos-Migueláñez, S. y Sánchez-Prieto, J. C. (2021). Calidad en e-Learning: Identificación de sus dimensiones, propuesta y validación de un modelo para su evaluación en Educación Superior. RIED. Revista Iberoamericana de Educación a Distancia, 24(2), 225–244. https://doi.org/10.5944/ried.24.2.29073
Ortiz-López, A., Olmos-Migueláñez, S. y Sánchez-Prieto, J. C. (2021). eLearning, assessment and Higher Education: A mapping of the literature [Comunicación escrita]. 2021 XI International Conference on Virtual Campus. Salamanca, Spain.
Palma, S. y Delgado, M. (2006). Consideraciones prácticas acerca de la detección del sesgo de publicación. Gaceta Sanitaria, 20(3), 10–16. https://doi.org/10.1157/13101085
Park, Y. y Lim, K. (2015). Effects of Environmental and Human Constructs on E-learning Effectiveness in Online University Settings. Indian Journal of Science and Technology, 8(1), 103–109. https://doi.org/10.17485/ijst/2015/v8iS1/57729
Parlakkiliç, A. (2017). Change Management in Transition To E-learning System. Qualitative and Quantitative Methods in Libraries, 3(3), 637–651.
Pecori, R., Suraci, V. y Ducange, P. (2019). Efficient computation of key performance indicators in a distance learning university. Information Discovery and Delivery, 47(2), 96–105. https://doi.org/10.1108/IDD-09-2018-0050
Pérez-Escoda, A. (2017). WoS y Scopus: Los grandes aliados de todo investigador. Comunicar, 5. https://doi.org/10.3916/escuela-de-autores-031
Pham, L., Limbu, Y. B., Bui, T. K., Nguyen, H. T. y Pham, H. T. (2019). Does e-learning service quality influence e-learning student satisfaction and loyalty? Evidence from Vietnam. International Journal of Educational Technology in Higher Education, 16(7), 1–26. https://doi.org/10.1186/s41239-019-0136-3
Pontoriero, F. A. (2021). E-learning en la educación superior argentina—Modelo de evaluación de calidad a partir del aporte de referentes clave. Virtualidad, Educación y Ciencia, 12(22), 22–45.
Prieto-Rodríguez, E., Gore, J. y Holmes, K. (2016). Exploring Quality Teaching in the Online Environment Using an Evidence-Based Approach. Australian Journal of Teacher Education, 41(8), 22–39. https://doi.org/10.14221/ajte.2016v41n8.2
Radu, M.-C., Schnakovszky, C., Herghelegiu, E., Ciubotariu, V.-A. y Cristea, I. (2020). The Impact of the COVID-19 Pandemic on the Quality of Educational Process: A Student Survey. International Journal of Environmental Research and Public Health, 17(21), E7770. https://doi.org/10.3390/ijerph17217770
Raspopovic, M. y Jankulovic, A. (2017). Performance measurement of e-learning using student satisfaction analysis. Information Systems Frontiers, 19(4), 869–880. https://doi.org/10.1007/s10796-016-9636-z
Serrano, E. L., Ceballos, S. P., Cordero, G. y Cisneros-Cohernour, E. (2018). Marco para evaluar las condiciones institucionales de la enseñanza en línea. Revista Electrónica de Investigación Educativa, 20(2), 1–14. https://doi.org/10.24320/redie.2018.20.2.2072
Torres Barzabal, L., Ortiz, P. y Barcia-Tirado, D. (2018). Quality Indicators for Auditing On-Line Teaching in European Universities. TechTrends, 63(3), 330–340. https://doi.org/10.1007/s11528-018-0365-7
Waheed, M. y Kaur, K. (2017). Students’ perceptual quality standards for judging knowledge quality: Development and validation of a knowledge quality scale. Information Development, 35(2), 319–332. https://doi.org/10.1177/0266666917744370
Waheed, M., Kaur, K. y Qazi, A. (2016). Students’ Perspective on Knowledge Quality in eLearning Context: A Qualitative Assessment. Internet Research, 26(1), 120–145. https://doi.org/10.1108/IntR-08-2014-0199